Joint Optimization of Relevance and Engagement in Multi-Task Ranking for E-Commerce with Efficient LLM Supervision
高效LLM监督的电商多任务排序：联合优化相关性与参与度
🧭 多任务排序 · 序数相关性 · LLM监督 ★ 深度解读
DoorDash Inc.
用LLM离线生成三级序数相关性标签，通过序数头融入多任务排序价值函数，实现相关性与参与度的可控权衡
📌 工作参考价值（4 点）
- 高质量相关性监督的规模化方案：使用大量人审数据 + 行为信号审计/校正（如高转化但人为标为不相关的样本用大LLM复核），再微调轻量LLM（GPT-4o-mini）批量生成亿级序数标签。标签分布需对齐线上真实比例以稳定分类行为。可直接复用到商品搜索/推荐的粗排或召回训练。
- 序数头 + 统一价值函数实现可控权衡：预测 p(r≥1) 和 p(r≥2) 并求和作为期望相关性标量，与 CTR/ATCR/CVR 预测通过可调权重组合成最终排序分。权重可作为线上配置项，通过小权重的相关性分量就能大幅提升语义匹配，而几乎不损伤转化。
- 单模型多目标集成，无额外推理成本：相关性头与参与度塔共享底层特征，复用 embedding 查找和特征加工，不增加在线延迟。这种“离线用 LLM，在线纯模型”的思路适合高 QPS 的电商场景。
- 标签生成流水线含 Q2T 模型辅助审核：当人审与 LLM 复审冲突时，用 Query-to-Taxonomy 模型判断商品类别是否匹配，以此选择采用更高或更低标签。这种“规则 + 模型”融合的清洗方法可借鉴到自家标注流程中。